Markov Processes with Restart

We consider a general honest homogeneous continuous-time Markov process with restarts. The process is forced to restart from a given distribution at time moments generated by an independent Poisson process. The motivation to study such processes comes from modeling human and animal mobility patterns, restart processes in communication protocols, and from application of restarting random walks in information retrieval. We provide a connection between the transition probability functions of the original Markov process and the modified process with restarts. We give closed-form expressions for the invariant probability measure of the modified process. When the process evolves on the Euclidean space there is also a closed-form expression for the moments of the modified process. We show that the modified process is always positive Harris recurrent and exponentially ergodic with the index equal to (or bigger than) the rate of restarts. Finally, we illustrate the general results by the standard and geometric Brownian motions. Key-words: Markov Processes with Restart, Positive Harris Recurrence, Exponential Ergodicity, Standard and Geometric Brownian Motions ∗ INRIA Sophia Antipolis, France, [email protected] † The University of Liverpool, Department of Maths Sciences, M&O Building, L69 7ZL, UK, [email protected] ‡ The University of Liverpool, Department of Maths Sciences, M&O Building, L69 7ZL, UK, [email protected] ha l-0 07 10 21 7, v er si on 1 20 J un 2 01 2 Les Processus de Markov avec Redémarrage Résumé : Nous considérons un processus de Markov en temps continu qui est général, honnête et homogène. Le processus est forcé à redémarrer à partir d’une distribution donnée à des moments de temps générés par un processus indépendant de Poisson. La motivation pour étudier ce type de processus vient de la modélisation de la mobilité humaine et animale, des procédures avec le redémarrage dans les protocoles de communication et de l’application des marches aléatoires avec le redémarrage en recherche d’information. Nous fournissons une connexion entre les fonctions de probabilité de transition du processus de Markov originale et du processus modifié avec le redémarrage. Nous donnons des expressions explicites de la mesure invariante du processus modifié. Lorsque le processus évolue dans l’espace Euclidien, il y a également une expression explicite pour les moments du processus modifié. Nous montrons que le processus modifié est à la fois Harris positif récurrent et ergodique exponentiel avec l’indice égal à (ou plus grand que) le taux de redémarrage. Enfin, nous illustrons les résultats généraux par les cas classiques de mouvements Browniens standard et géométrique. Mots-clés : Processus de Markov avec Redémarrage, Positive Harris Recurrence, Ergodicité Exponentiel, Mouvements Browniens Standard et Géométrique ha l-0 07 10 21 7, v er si on 1 20 J un 2 01 2 Markov Processes with Restart 3